REFLEX with Jev for Efficient Selective Control in LLM Agents
REFLEX 结合 Jev 实现 LLM 智能体的高效选择性控制
🧭 Agent 选择性控制与强模型调用优化
Nanyang Technological University
REFLEX 用 Jev 做快速类型决策层，低置信或需生成时调强 LLM，100 任务基准上 95% 成功并减少 72.7% 强模型调用
📌 工作参考价值（4 点）
- 架构拆分：在电商导购/广告投放 Agent 中，把“选哪个工具、参数是否合法、是否继续”等有限集合决策从生成式 LLM 中剥离，用轻量分类器或 Jev 类模型先做 typed decision；仅当置信度低于阈值或需要自由文本生成时再调用强模型，可省 70%+ 强模型调用，降低延迟与成本。
- 回退设计：对边界场景（如退款/价格修改等高风险动作）要保守，即便轻量模型置信度不低，也设置 authorization boundary 附近强制回退或人工/强模型复核；因为论文显示授权边界附近的 near-valid alternatives 是主要失败来源。
- 动作空间控制：候选工具/动作数量不要过大，尽量合并语义相近的 action；论文指出可靠性依赖 action-set size，过大会削弱 Jev 选择质量，可先在业务数据上测 action-set size 的影响曲线。
- 先做基线：如果已有便宜生成式模型（如 GPT-4o mini/Gemini Flash）的 cascade 路由准确率已经很高，typed decision layer 可能收益有限；建议先做离线对比实验，再决定是否引入 Jev，而不是直接上。